on peut paramétriser le nombre de lignes à sauter par onglet (dans le filter), car cela arrive que les espacements ne soient pas les mêmes d’une année sur l’autre
penser à utiliser les fonctions de dplyr et tidyr comme fill ou coalesce en complément
séparer par bloc + faire des str_detect
exemple pour récupérer les dates de MAJ de chaque onglet
df_cells_c24 |>select(sheet, character) |>filter(str_detect(character, "mise à jour")) |>mutate(date_maj =str_remove(character, "Date de mise à jour : "),date_maj =dmy(date_maj) )
FAJ - Dernier exemple sur le sujet
Cela fonctionne dans la plupart des cas assez bien, même avec des cellules fusionnées et d’autres non
petite subtilité car tous les onglets ne commencent pas au même endroit et ne terminent pas au même endroit
df_cells_faj <-xlsx_cells("data/FAJ Données annuelles 2007-2022.xlsx") |># on filtre sur les onglets qui nous intéressent - on retire FAJ2015 qui a une structuration différente et qu'il faudrait traiter à partfilter(str_sub(sheet, 1, 6) =="FAJ 20"& sheet !="FAJ 2015")# ligne de débutdf_cells_faj_min <- df_cells_faj |>filter(character =="Départements") |>select(sheet, row_min = row)# ligne de fin - on aurait aussi pu détecter La Réuniondf_cells_faj_max <- df_cells_faj |>filter(is_blank & col ==1) |>inner_join(df_cells_faj_min, by =join_by(sheet)) |># on ajoute quelques lignesfilter(row > row_min +3) |>group_by(sheet) |>filter(row ==min(row)) |>ungroup() |>select(sheet, row_max = row) |># comme on a detecté la ligne blanche suivant la fin, on décalemutate(row_max = row_max -1)# on jointe pour cibler les tableauxdf_cells_faj |>inner_join(df_cells_faj_min, by =join_by(sheet)) |>inner_join(df_cells_faj_max, by =join_by(sheet)) |>filter(between(row, row_min, row_max)) |>group_by(sheet) |>behead("up-left", "typ_var") |>behead("up", "mod_var") |>behead("left", "code_dep") |>behead("left", "lib_dep") |>ungroup() |>select(sheet, typ_var, mod_var, code_dep, lib_dep, character, numeric)
En v2 FAJ - partitions
Tab 2022 avec deux tabs dans le même –> séparation des tabs plutôt que de ne faire que le premier
on va partitionner les cellules en tableaux, comme un nest, puis on va pouvoir soit travailler indépendemment, soit avec un map si la structure est similaire travailler le sujet
pour cela, il va falloir délimiter, ici on va le faire par les en-têtes, mais cela peut aussi se faire avec une détection des blancs (mais plus complexe avec les cellules fusionnées)
df_cells_faj_filtered <- df_cells_faj |>filter(sheet =="FAJ 2022"& row >=9)df_title_cells_faj <- df_cells_faj_filtered |>filter(character %in%c("Départements", "Métropoles et départements hors métropoles"))# on partitionnepartitions_faj <-partition(df_cells_faj_filtered, df_title_cells_faj)# on reprendre le code du dessus# et on assemblemap( partitions_faj$cells, \(data) data |>behead("up-left", "typ_var") |>behead("up", "mod_var") |>behead("left", "code_dep") |>behead("left", "lib_dep") |>select(typ_var, mod_var, code_dep, lib_dep, character, numeric)) |>set_names("dep", "metro") |>list_rbind(names_to ="type_geo")
Panorama statistique
démo pour le format sous une autre forme que le texte (gras, couleur)
On va s’attacher à un seul tableau
Panorama statistique
path_panorama <-"data/PanoFrance2022.xlsx"# chargement des cellules + délimitationdf_cells_panorama <-xlsx_cells(path_panorama) |>filter(between(row, 330, 355))# et du format - listeformat_panorama <-xlsx_formats(path_panorama)df_panorama_cleaned <- df_cells_panorama |># il faudra gérer la fusion des codes géographiques à partbehead("up", "code_geo") |># type d'établissement en gras - penser à indexer sur le type d'établissementbehead_if(format_panorama$local$font$bold[local_format_id],direction ="left-up",name ="type_etab") |>behead_if( format_panorama$local$alignment$indent[local_format_id] ==2,direction ="left-up",name ="type_var" ) |>behead_if( format_panorama$local$alignment$indent[local_format_id] ==4,direction ="left",name ="type_places" ) |>select(code_geo, type_etab, type_var, type_places, numeric, character) |>filter(!is.na(numeric))df_panorama_cleaned
Quelques astuces
ne pas hésiter à coder à la main des choses, tout ne peut pas être automatisé (enfin, tout peut l’être, mais il faut doser le coût-bénéfice)
de façon générale, une formattage = un code
faire plusieurs passes, par exemple pour se faire un fichier de référence des noms de colonnes utilisables derrière
ce n’est que de la manip de données
on peut aussi faire sur plusieurs fichiers Excel à la fois si ils sont formattés pareil
privilégier quand c’est possible d’autres exports (c’est souvent le cas notamment en open data avec le paramétrage OpenDataSoft qui force + parquet)
